Dương Hỗ sinh ra trong một gia đình danh môn sĩ tộc, đến ông ta là đời thứ 9 làm quan 2 vương triều Đông Hán – Tào Ngụy, luôn có người nhận lương bổng trên 2000 thạch, đều nổi tiếng thanh liêm.

Ông nội Dương Hỗ là Dương Tục cuối đời Hán nhậm chức thái thú Nam Dương; cha là Dương Đạo làm thái thú Thượng Đảng nhà Tào Ngụy; mẹ là con gái đại danh nho đời Hán, Tả trung lang tướng Thái Ung; chị gái là Dương Huy Du được gả cho Tư Mã Sư (được Tấn Vũ Đế phong làm Cảnh Hiến hoàng hậu); anh trai cùng mẹ Dương Thừa mất sớm, anh trai khác mẹ Dương Phát cũng mất khi Dương Hỗ vừa trưởng thành.

Năm Dương Hỗ 12 tuổi, Dương Đạo mất, ông vô cùng đau xót, để tang lâu hơn lệ thường. Dương Hỗ cũng phụng sự chú là Dương Đam rất kính cẩn. Trong một lần dạo chơi ở bờ sông Vấn, có một ông già nói với ông rằng: "Đứa trẻ này có tướng tốt, chưa đến 60 tuổi ắt lập được công lớn cho đất nước." Ông già nói xong thì đi mất, không rõ người ở đâu.

Sau khi trưởng thành, Dương Hỗ bác học đa tài, sành văn chương, giỏi biện luận mà nổi tiếng. Ông có phong tư tiêu sái, mình dài 7 thước 3 tấc, dung mạo đẹp đẽ. Quận tướng Hạ Hầu Uy cho rằng ông không phải người thường, đem con gái của anh cả Hạ Hầu Bá gả cho.